Calibración de probabilidades

Estimación de default mediante modelos de machine learning

Karina Bartolomé

Organizadora: Natalia Salaberry
CIMBAGE (IADCOM) - Facultad Ciencias Económicas (UBA)

2024-05-13

0.1 Flow

flowchart TD
    a --> b

0.2 A

Procesamiento de datos:

📦 pandas==2.2.1

📦 numpy==1.26.4

Modelado:

📦 scikit-learn==1.3.0

Visualización y tablas:

📦 matplotlib==3.8.0

📦 seaborn==0.12.2

📦 great_tables==0.5.0

0.3 Evaluación de un modelo de clasificación (Cont.)

Siendo \(N\) la cantidad de observaciones, \(y_i\) el valor observado para la obseravción \(i\) y \(\hat{y_i}\) el valor predicho para la observación \(i\), se definen las funciones de pérdida:

Log loss
Brier loss

También denominada Negative Mean Log-Likelihood

\[ \text{Log Loss} = -\frac{1}{N} \sum_{i=1}^{N} \left( \color{red}{y_i \log(\hat{y_i})} + \color{blue}{(1 - y_i) \log(1 - \hat{y_i})} \right) \]

Si \(y_i=1\) => \(\text{Log Loss}=\color{red}{\log(\hat{y_i})}\)

Si \(y_i=0\) => \(\text{Log Loss}=\color{blue}{\log(1 - \hat{y_i})}\)

Código

N=100
temp = (pd.DataFrame({
    'y_pred':[i/N for i in range(1,N,1)]
    })
    .assign(y_pred_log = lambda x: np.log(x['y_pred']))
).plot(x='y_pred', y='y_pred_log', figsize=(3,3), xlabel='Prob', ylabel='Log(Prob)');

La pérdida es 0 si se tiene seguridad sobre una predicción y la predicción es correcta
La pérdida es \(\infty\) si se tiene seguridad sobre una predicción y la predicción es incorrecta

Error Cuadrático Medio pero para clasificación:

\[ \text{Brier Loss} = \frac{1}{N} \sum_{i=1}^{N} (y_i - \hat{y_i})^2 \]

1 Great tables

1.1 Tabla

Un texto para probar el tamaño del texto!

a	b
1	a
2	b
3	c

2 Temp

2.1 Temp b

a
var	value
a	0
a	1
a	2
a	3
a	4
a	5
a	6
a	7
a	8
a	9

b
var	value
b	0
b	1
b	2

3 Nueva sección

3.1 Temp

?@tbl-a es una tabla y ?@tbl-b es otra

3.2 Contacto

Blog

@karbartolome